gpt2繁體中文

2023年4月10日 — 其實早在二○一九年，中研院詞庫小組就曾用Google推出的BERT語言模型，和OpenAI的GPT-2，做過繁中版模型，但受限於資料量不足，與主流的大型語言模型差距 ...

UPDATE 02.06.2021 ... 本项目新增了通用中文GPT-2预训练模型、通用中文GPT-2预训练小模型、中文歌词GPT-2预训练模型和文言文GPT-2预训练模型。模型由UER-py项目训练得到， ...

這個專案提供了繁體中文的transformers 模型（包含ALBERT、BERT、GPT2）及自然語言處理工具（包含斷詞、詞性標記、實體辨識）。 Homepage. https://github.com/ckiplab ...

2020年1月12日 — 可以写诗，新闻，小说，或是训练通用语言模型。支持字为单位或是分词模式或是BPE模式（需要略微修改train.py的代码）。支持大语料训练。

2019年9月7日 — 官方釋出的GPT-2 能夠輸出中文字，但因為大部分文本都是透過Reddit 爬下來的英文文章，因此是沒有辦法做到如同本文的中文生成的。 讓GPT-2 在社群上被 ...

2020年1月12日 — 中文的GPT2训练代码，使用BERT的Tokenizer或Sentencepiece的BPE model（感谢kangzhonghua的贡献，实现BPE模式需要略微修改train.py的代码）。可以写诗， ...

2021年9月20日 — GPT是由人工智慧研究組織OpenAI於2018年6月所提出的一種文字生成預訓練語言模型（Pre-trained language model），使用了5GB的資料量進行訓練；在2019年2月 ...

2023年4月4日 — 2月底，台智雲剛公開展示在台灣杉二號上運行Bloom，證明有能力運算與GPT-3同 ... 揭開全球首個繁體中文模型，台版GPT出爐；最新盤點：台積、鴻海到光寶 ...

2023年2月23日 — 開放原始碼釋出的大型語言模型，目前多數仍以英文為主要優化的對象，繁體中文的語言模型相對不足。為此中央研究院詞庫小組在2019年開發並公開BERT和GPT-2 ...